อุมัรน่าจะเสด็จพระราชสมภพในมะดีนะฮ์เมื่อประมาณ ค.ศ. 680[2][3] อับดุลอะซีซ อิบน์ มัรวาน พระราชบิดาของพระองค์ อยู่ในตระกูลอุมัยยะฮ์อันมั่งคั่งในนครนี้ ส่วนอุมม์ อาศิม บินต์ อาศิม พระราชมารดา เป็นหลานวาสของเคาะลีฟะฮ์ อุมัร อิบน์ อัลค็อฏฏอบ (ค. 634 – 644)[4] การที่อุมัรที่ 2 สืบเชื้อสายจากเคาะลีฟะฮ์อุมัรทำให้ภายหลังพระองค์เน้นย้ำในเรื่องนี้ และข้อมูลธรรมเนียมมุสลิมแยกพระองค์จากผู้นำอุมัยยะฮ์องค์อื่น ๆ[2] ในช่วงที่พระองค์เสด็จพระราชสมภพนั้น ผู้ปกครองรัฐเคาะลีฟะฮ์มาจากสายซุฟยาน ซึ่งปกครองรัฐเคาะลีฟะฮ์อุมัยยะฮ์จากดามัสกัส เมื่อเคาะลีฟะฮ์ ยะซีดที่ 1 และมุอาวิยะฮ์ที่ 2 พระราชโอรสของพระองค์และผู้สืบทอด สววรคตใน ค.ศ. 683 และ 684 ตามลำดับ อำนาจของอุมัยยะฮ์ล่มสลายทั่วรัฐเคาะลีฟะฮ์และตระกูลอุมัยยะฮ์ในฮิญาซ (รวมมะดีนะฮ์) ถูกขับออกจากบริเวณนี้โดยผู้สนับสนุนเคาะลีฟะฮ์คู่เข้าชิงที่มีฐานในมักกะฮ์นาม อับดุลลอฮ์ อิบน์ อัซซุบัยร์ ฝ่ายอุมัยยะฮ์ลี้ภัยไปที่ซีเรีย ซึ่งยังมีชนเผ่าอาหรับที่จงรักภักดีสนับสนุนราชวงศ์อยู่ โดยพวกชนเผ่าให้การยอมรับมัรวานที่ 1 พระอัยกาของอุมัร เป็นเคาะลีฟะฮ์และจัดตั้งการปกครองของอุมัยยะฮ์ในซีเรียใหม่[5]